784. Орлов А.И. Оценивание для сгруппированных данных // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. – Пермь, 2012. – Вып. 24. – С. 83-95.

________СТАТИСТИЧЕСКИЕ МЕТОДЫ ОЦЕНКИ И ПРОВЕРКИ ГИПОТЕЗ___
2012			Пермский государственный университет		          Вып.24

УДК 519.2
Оценивание для сгруппированных данных

А.И. Орлов 

Московский государственный технический университет им. Н.Э. Баумана, Институт высоких статистических технологий и эконометрики; Московский физико-технический институт; Группа компаний «Волга-Днепр»; Москва, Россия; prof-orlov@mail.ru; http://orlovs.pp.ru.

Аннотация. Описана вероятностная модель группировки данных, в том числе многомерных. Обобщена формулы Эйлера-Маклорена. С ее помощью получены поправки Шеппарда и поправки на группировку для коэффициента корреляции. Найдены и изучены асимптотические поправки на группировку в общем случае. Оценена точность приближения.

Ключевые слова: модель группировки данных, обобщение формулы Эйлера-Маклорена, поправки на группировку, точность приближения.

	При вычислении различных статистических характеристик часто пользуются сгруппированными данными. Погрешность группировки - один из видов погрешностей наблюдений. До появления компьютеров группировку проводили для облегчения расчетов. К сожалению, устаревшие рекомендации по обязательному проведению группировки укоренились в курсах по «общей теории статистики». В отмененном из-за низкого научного уровня ГОСТ 11.006-74 (СТ СЭВ 1190-78) «Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим» группировку предписывалось проводить даже при проверке согласия по критериям Колмогорова и омега-квадрат, что приводило к ошибочным статистическим выводам. 
	В современных условиях нет необходимости сокращать число арифметических операций при анализе статистических данных. Вместо гистограмм для описания распределения в настоящее время рекомендуют использовать непараметрические оценки плотности [1]. Однако с существующей традицией приходится считаться, следовательно, надо уметь оценивать влияние группировки данных на статистические характеристики.
	Другая причина использования сгруппированных данных – неточность измерений, приводящих либо к автоматическому (с помощью средств измерения) округлению, либо к округлению, проводимому специалистом, осуществляющим измерение.
	В настоящей статье рассмотрим статистические методы анализа сгруппированных данных. Начнем с одномерных данных. 

Вероятностная модель группировки

	Пусть выборка объема  взята из непрерывного распределения числовой случайной величины  с плотностью вероятности . Пусть элементы выборки сгруппированы по интервалам длины , центры которых находятся в точках , где (Поскольку для непрерывной случайной величины вероятность попадания в точку соприкосновения интервалов равна 0, то нет необходимости указывать, к какому из интервалов относятся такие точки.) В таких случаях при вычислении моментов и других выборочных характеристик по сгруппированным данным обычно предполагается [2, с.393-394], что все выборочные значения, принадлежащие некоторому интервалу, совпадают с центром этого интервала. Тогда фактически рассматривается выборка из дискретного распределения, в соответствии с которым случайная величина  принимает значения  с вероятностями 
.
	Пользуясь сгруппированными данными, оценивают те или иные выборочные характеристики, например, моменты 
,
которые будем называть групповыми. Во многих случаях исследователя интересуют моменты исходной непрерывной случайной величины :
.
Поэтому важно изучить соотношения между этими двумя множествами моментов. При некоторых условиях регулярности приближенные значения моментов  можно получить, введя поправки к групповым моментам .
	Групповые моменты запишем в виде
  
	Для решения поставленной задачи применим формулу Эйлера-Маклорена [2, с.394-398] и ее обобщение, полученное в [3].

Обобщение формулы Эйлера-Маклорена

	В различных статистических методах анализа данных возникает необходимость вычисления сумм следующего вида:
,
где  – достаточно гладкая функция. Другими словами, требуется просуммировать значения функции  в  точках, отстоящих друг от друга на расстояние , начиная с точки . Типичным примером является суммирование биномиальных вероятностей с целью вычисления попадания биномиально распределенной случайной величины в заданный интервал. 
	Классическая формула Эйлера-Маклорена такова [4, п.465]:

Здесь  – остаточный член порядка , выражение для которого приведено в [4, с.540], 
,
где  есть -е число Бернулли [4, п.449]. В частности,
.
	Очевидным недостатком классической формулы Эйлера-Маклорена является ее несимметричность – левый конец отрезка , по которому проводится интегрирование, входит в число точек, значения функции в которых суммируется, а правый – нет. Этот недостаток связан с тем, что каждому слагаемому в рассматриваемой сумме ставится в соответствие отрезок длины , значение функции  в левом конце которого и есть рассматриваемое слагаемое. В результате нет симметричности – формула меняется при изменении направления оси -ов.
	Чтобы избавиться от несимметричности, достаточно слагаемому  (где  при некотором ) поставить в соответствие отрезок . Опишем подход к получению асимптотических разложений, впервые предложенный в статье [3] в связи с изучением скорости сходимости распределения классической статистики омега-квадрат (Крамера-Мизеса-Смирнова) к предельному распределению. Будем исходить из формулы Тейлора с дополнительным членом в виде определенного интеграла [4, п.318]:
.
Проинтегрируем почленно обе части этого равенства по x по отрезку отрезок . Получим, что

(при четном ). Весьма важно, что обращаются в 0 все интегралы, соответствующие нечетным степеням. 
	Из только что полученного соотношения следует, что
,
где  – остаточный член, указанный в предыдущей формуле.
	Применим аналогичную процедуру ко второй производной - функции . Исходим из формулы Тейлора

Интегрируя, получаем, что 
,
откуда 
	Подставляя в формулу для , получаем, что

Дальше можно провести аналогичные выкладки для четвертой производной, и т.д. С помощью продемонстрированного подхода можно получить, например, следующий результат:
,
где 

	Таким образом, справедливо следующее соотношение, напоминающее классическую формулу Эйлера-Маклорена:
	Сравнение с классической формулой Эйлера-Маклорена показывает, что в последней формуле отсутствует первый член асимптотического разложения, соответствующий , а коэффициенты при остальных членах меньше по абсолютной величине:

Полученная формула симметрична – не меняется при изменении направлении оси -ов. 
	Из сказанного вытекает рекомендация: вместо классической формулы Эйлера-Маклорена употреблять полученную в статье [3] формулу, в которой каждому входящему в сумму значению аргумента ставится в соответствие отрезок, для которого это значение является центром. Полученная формула позволила, в частности, построить компактные таблицы для специальных функций, используемых при оценивании параметров гамма-распределения, и вывести формулы для использования вне таблиц, при разработке государственного стандарта ГОСТ 11.011-83 [5]. Многомерный аналог полученной формулы, в котором каждой точке целочисленной решетки ставился в соответствие прямоугольный параллелепипед, для которого эта точка являлась центром, позволил разработать оригинальный метод оценивания скорости сходимости распределений непараметрических статистик типа Колмогорова, Смирнова и омега-квадрат [3]. 

Поправки Шеппарда

	С помощью формулы Эйлера-Маклорена групповые моменты  могут быть выражены линейными функциями от «истинных» моментов  (в предположении, что остаточным членом можно пренебречь). Решая последовательно уравнения относительно «истинных» моментов , получаем [2, с.395]:

	Таким образом, получены поправки к результатам расчетов по сгруппированным данным, позволяющие более точно оценить моменты исходного распределения. Эти поправки были впервые выведены В.Ф. Шеппардом в 1898 г. [6] и поэтому называются в статистической литературе «поправками Шеппарда». Общая формула имеет вид [7]:
,
где  – числа Бернулли [4, п.449].
	Хотя поправки Шеппарда получены еще в XIX веке, статистическая теория обработки сгруппированных данных продолжает развиваться. Ниже рассмотрена непараметрическая многомерная постановка, в которой границы группировки задаются статистиком. Параметрическую теорию развивал Г. Куллдорф [8]. Модель группировки со случайным сдвигом начала координат изучал Н.А. Бодин [9-11]. Вместо округления результаты измерений могут быть представлены в виде случайных интервалов, как это принято в статистике интервальных данных [1, гл. 12].

Многомерная группировка

	Дадим описание группировки данных в случае -мерного случайного вектора  с плотностью распределения . Пусть выборочные значения координаты  группируются по интервалам длины  со средними точками (центрами)  Вектор  назовем шагом группировки. При вычислении выборочных характеристик предполагается, что все выборочные значения вектора , координаты которого удовлетворяют неравенствам

совпадают с центром  данного -мерного прямоугольного параллелепипеда, т.е. фактически мы обрабатываем выборочные значения дискретного -мерного вектора  с распределением  

где

	Представляется естественным разложить разность между характеристиками вектора  и характеристиками вектора  по степеням координат шага группировки и оценить возникающий при этом остаточный член, т.е. получить обобщение поправок Шеппарда для моментов. Будем рассматривать характеристики вида , где  – достаточно гладкая функция.

Поправки на группировку для коэффициента корреляции

	В качестве примера рассмотрим линейный парный коэффициент корреляции Пирсона . Как известно, для удовлетворяющей некоторым условиям регулярности [2, п.27.9] плотности  справедливы соотношения

при достаточно малых  и  с точностью до членов более высокого порядка по  и . Из приведенных соотношений и определения коэффициента корреляции  с помощью элементарных преобразований получаем, что 

с той же точностью. Поскольку при малых 
,
то при достаточно малых  и  с точностью до членов более высокого порядка 

Из последней формулы вытекает, что

с той же точностью. Воспользовавшись приведенными выше соотношениями для вторых моментов координат двумерного вектора, получаем окончательную формулу
,
с точностью до членов более высокого порядка, в которой поправка на группировку определяется только по сгруппированным данным. Отметим, что группировка приводит к уменьшению коэффициента корреляции (по абсолютной величине): 
.
	Поправка на группировку для коэффициента корреляции была получена в статье [12], возникшей в полемике со статьей [13], в которой без какого-либо основания утверждалось, что при группировке коэффициент корреляции увеличивается. Несмотря на элементарность выкладок, поправка на группировку для коэффициента корреляции не была ранее известна, что и отмечено в реферате статьи [12] в Mathematical Review.

Асимптотические поправки на группировку

	Перейдем к общему случаю. Часть результатов была получена в статье [14], остальные публикуются впервые.
	Будем использовать следующий многомерный аналог классической формулы Эйлера-Маклорена: 

где  – множество точек с целыми координатами -мерного пространства , функция  абсолютно интегрируема,  – совокупность всех подмножеств мощности  множества  и 

	Справедлив следующий многомерный аналог полученного нами ранее обобщения одномерной классической формулы Эйлера-Маклорена:

(в этой формуле , соответственно, , используются введенные ранее обозначения). Описан закон получения членов разложения и указана оценка остаточного члена [14]. Однако в общем случае они весьма громоздки, поэтому ограничимся несколькими доведенными до числа примерами.
	Пусть  = 2, вектор  имеет нормальное распределение. Тогда

.
На основе описанных выше общих результатов можно получить точные формулы и оценки остаточных членов в этих формулах. Оказывается, остаточные члены  и , весьма малы даже при достаточно большом шаге группировки. Так,

и  не превосходит  при  и не превосходит  при  , где , а  –начало отсчета по -й координате, .
	Полученные оценки зависят от . Так, при  относительная погрешность определения истинной дисперсии по сгруппированной с использованием поправок Шеппарда, т.е. 
,
не превосходит  при , меньше  при  и  при . Таким образом (это подтверждается равномерной оценкой остаточного члена), при шаге группировки, равном среднеквадратическому отклонению, формула

становится практически точной.
	Иным оказывается положение при расчете по сгруппированным данным коэффициента ковариации. При малых и средних значениях коэффициент корреляции  (при ) относительная погрешность невелика даже при довольно большом шаге группировки (так,  при  и ). При больших коэффициентах корреляции, если ставится цель добиться достаточно хорошего приближения, шаг группировки необходимо уменьшать, поскольку при  основной член в оценке относительной погрешности таков: 
.
	Часто оказывается необходимым использовать коэффициент корреляции  в случае произвольного распределения случайного вектора при естественном и обычно выполняющемся условии существования достаточного числа моментов и гладкости плотности вероятности. На основе описанного выше общего подхода получена следующая приближенная формула для выражения истинного коэффициента корреляции  через «сгруппированный» коэффициент корреляции  и «сгруппированные» дисперсии  и :

Эта формула уточняет ранее приведенную формулу, полученную элементарными средствами. Оценена относительная погрешность определения коэффициента корреляции:
,
где  – максимум относительных погрешностей в определении истинных дисперсий  и  через «сгруппированные» дисперсии  и  с использованием поправок Шеппарда,  – абсолютная погрешность при определении истинного коэффициента ковариации через «сгруппированный» (см. выше).
	Подводя итоги статьи, следует отметить, что хотя теория статистического анализа сгруппированных данных в настоящее время всё ещё недостаточно развита и систематизирована, принципиальных трудностей на пути расчета поправок на группировку нет. Во многих случаях шаг группировки порядка среднего квадратического отклонения исходных случайных величин дает с учетом поправок вполне приемлемую точность. По сравнению с другими видами погрешностей, в частности, рассматриваемыми в статистике интервальных данных ([1, гл.12]), группировка сравнительно слабо влияет на свойства статистических процедур. 

Литература

1. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 672 с.
2. Крамер Г. Математические методы статистики. – М.: Мир, 1975. – 648 с.
3. Орлов А.И. Скорость сходимости распределения статистики Мизеса-Смирнова // Теория вероятностей и ее применения. 1974. Т.19. № 4. С.766-786.
4. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Т.2. – М.: Наука, 1966. – 800 с.
5. ГОСТ 11.011-83. Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения / Орлов А.И., Миронова Н.Г., Невельсон М.Б. и др. - М.: Изд-во стандартов, 1984. - 53 с. 
6. Sheppard W.F. On the calculation of the most probable values of frequency constants for data arranged according to equidistant divisions of a scale // Proc. London Math. Soc., 1898, v.29, p.353.
7. Wold H. Sulla correzione di Sheppard // Giorn. Ist. Italiano d. Attari, 1934, v.5, p.304.
8. Куллдорф Г. Введение в теорию оценивания по группированным и частично группированным выборкам. – М.: Наука, 1966. – 196 с.
9. Бодин Н.А. Об ошибках округления при многомерных измерениях // Труды Математического института им. В.А. Стеклова: Том 79. – М.-Л. Наука, 1965. - С.76-105.
10. Бодин Н.А. Оценка параметров распределения по группированным выборкам // Труды Математического института им. В.А. Стеклова: Том 111. – Л. Наука, 1970. - С.110-154.
11. Бодин Н.А. Об ошибках округления при измерениях с помощью случайно сдвигающейся шкалы // Труды Математического института им. В.А. Стеклова: Том 111. – Л. Наука, 1970. - С.155-162.
12. Орлов А.И. Поправка на группировку для коэффициента корреляции // Экономика и математические методы. – 1980. - № 4. – С.800-801.
13. Свободин В.А., Сирожитдинов И.К. К вопросу о корреляционных моделях по усредненным данным // Экономика и математические методы. – 1980. - № 4. – С.796-800.
14. Орлов А.И., Орловский И.В. О поправках на группировку // Прикладной многомерный статистический анализ. – М.: Наука, 1978. – С.339-342.

Estimation for the grouped data

A.I. Orlov 

Bauman Moscow State Technical University, Institute of high statistical technologies and econometrics; Moscow Physics-Technical Institute; Volga-Dnepr Group; Moscow, Russia; prof-orlov@mail.ru; http://orlovs.pp.ru; +7(916)8305117; 123104, Moscow, the Sytinsky lane, house 7/14, apartment 14.

Abstract. The probabilistic model of grouping data (including multidimensional data) is described. It is generalized Euler-Maclaurin’s formulas. With its help Sheppard’s corrections and corrections on grouping for correlation coefficient are received. Are found and studied asymptotical corrections on grouping data generally. Accuracy of approach is estimated.

Key words: the model of grouping data, generalized Euler-Maclaurin’s formulas, corrections on grouping, accuracy of approach.